自适应学习率的增量强化学习飞行控制

针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法.首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度.然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器...     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于信任域策略优化的末制导控制量学习算法CSCD

近年来,深度强化学习在解决序列决策问题上取得了很大进展,无模型强化学习算法在与环境不断交互的过程中学习策略,不需要提前对环境建模,使其适用于许多问题。针对以往使用强化学习进行末制导策略学习的训练不稳定问题,使用信任域策略优化算法直接学习末制导控制量,同时设计了一种新颖的奖励函数,可以提高训练稳定性和算法性能。在二维环境下进行了实验,结果表明,该算法具有良好的训练稳定性,并可以达到很好的命中效果。     

基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

基于深度强化学习的高超声速飞行器动态面控制方法

针对高超声速飞行器控制问题,通过将深度强化学习与动态面控制方法相结合,设计了智能姿态控制算法。首先,利用模型先验知识,采用传统的动态面控制方法设计控制器结构。然后,考虑跟踪误差和控制量幅值约束的指标情况下,采用深度学习算法完成对控制器参数的智能寻优,代替传统设计中的人工调参试错过程。为提升训练效果,在奖励函数中引入了控制量变化率。最后,通过数值仿真验证了本文所设计控制方法的有效性与鲁棒性。     

高比例SiCp/Al复合材料热膨胀系数的研究

通过无压渗透法工艺 ,选用不同颗粒度 ( 70 #,10 0 #,15 0 #,180 #) ,不同颗粒形状 (不规则多边形 ,近球形 )的SiC ,制备了不同基体材料 (纯铝 ,ZL10 1,ZL3 0 1)的复合材料试样 ,并用云栅干涉法对各试样的膨胀系数进行了测定。结果表明 :SiCp Al的膨胀系数随颗粒尺寸的增大而下降 ,近球形颗粒增强复合材料的膨胀系数比不规则多边形要小 ,不同基体材料的复合材料的膨胀系数按着ZL10 1,纯铝 ,ZL3 0 1的顺序增大     

基于分支深度强化学习的非合作目标追逃博弈策略求解

为解决航天器与非合作目标的空间交会问题,缓解深度强化学习在连续空间的应用限制,提出了一种基于分支深度强化学习的追逃博弈算法,以获得与非合作目标的空间交会策略。对于非合作目标的空间交会最优控制,运用微分对策描述为连续推力作用下的追逃博弈问题;为避免传统深度强化学习应对连续空间存在维数灾难问题,通过构建模糊推理模型来表征连续空间,提出了一种具有多组并行神经网络和共享决策模块的分支深度强化学习架构。实现了最优控制与博弈论的结合,有效解决了微分对策模型高度非线性且难于利用经典最优控制理论进行求解的难题,进一步提升了深度强化学习对离散行为的学习能力,并通过算例仿真检验了该算法的有效性。     

某钛基复合材料骨架零件高效铣削技术

以某TiC颗粒TiB晶须混合增强钛基复合材料［（TiC_p+TiB_w）/TC4］骨架零件为研究对象,开展切削速度在60～200 m/min铣削性能研究,研究结果应用于骨架零件的加工进行验证。研究表明,切削速度是影响铣削温度的一个因素,切削速度在60～200 m/min内,铣削温度随切削速度的增加而增加;切削速度对铣削温度的影响比径向切宽的影响大;切削速度和径向切宽在试验范围内对表面质量的影响较小。通过试验优化得到的铣削参数,结合骨架零件的结构特点,确定了粗加工的铣削参数为V=39.25 m/min,f_z=0.08 mm/z,a_e=12 mm,a_p=2 mm,精加工的铣削参数为V=62.8 m/min,f_z=0.04 mm/z,a_e=10 mm,a_p=1 mm,加工后满足图纸要求,验证了优化方案合理可行。     

Ground maneuver for front-wheel drive aircraft via deep reinforcement learning

The maneuvering time on the ground accounts for 10%–30% of their flight time, and it always exceeds 50% for short-haul aircraft when the ground traffic is congested. Aircraft also contribute significantly to emissions, fuel burn, and noise when taxiing on the ground at airports. There is an urgent need to reduce aircraft taxiing time on the ground. However, it is too expensive for airports and aircraft carriers to build and maintain more runways, and it is space-limited to tow the aircraft fast using tractors. Autonomous drive capability is currently the best solution for aircraft, which can save the maneuver time for aircraft. An idea is proposed that the wheels are driven by APU-powered (auxiliary power unit) motors, APU is working on its efficient point; consequently, the emissions, fuel burn, and noise will be reduced significantly. For Front-wheel drive aircraft, the front wheel must provide longitudinal force to tow the plane forward and lateral force to help the aircraft make a turn. Forward traction effects the aircraft’s maximum turning ability, which is difficult to be modeled to guide the controller design. Deep reinforcement learning provides a powerful tool to help us design controllers for black-box models; however, the models of related works are always simplified, fixed, or not easily modified, but that is what we care about most. Only with complex models can the trained controller be intelligent. High-fidelity models that can easily modified are necessary for aircraft ground maneuver controller design. This paper focuses on the maneuvering problem of front-wheel drive aircraft, a high-fidelity aircraft taxiing dynamic model is established, including the 6-DOF airframe, landing gears, and nonlinear tire force model. A deep reinforcement learning based controller was designed to improve the maneuver performance of front-wheel drive aircraft. It is proved that in some conditions, the DRL based controller outperformed conventional look-ahead controllers.     

小型柔性接头推力矢量性能试验

设计了结构尺寸相同,弹性件材料分别为天然橡胶和硅橡胶的小型柔性接头,测试了容压作用下的轴向压缩位移,考察了弹性比力矩随温度(-50～70℃)、容压的变化情况.另外,为检验应力估算经验公式对小型柔性接头的适用性,测试了增强件内侧环向压缩应力.结果表明:柔性接头轴向压缩刚度随容压升高呈现一定程度的非线性增大趋势;弹性比力矩在0°～6°摆角范围内基本恒定,不同柔性接头弹性比力矩随容压升高呈现不同变化趋势;天然橡胶弹性件柔性接头弹性比力矩在低温下显著增大,硅橡胶弹性件柔性接头弹性比力矩在-50～70℃温区稳定;由燃烧室压强引起的增强件环向压缩应力经验公式估算值过大,不适用于小型柔性接头.